Lee's Sandwiches được sáng lập bởi gia đình nhà họ Lê, gia đình này từng sở hữu một nhà máy đường ở tỉnh An Giang trước thời Chiến tranh Việt Nam và là thuyền nhân di cư sang nước Mỹ vào tháng 7 năm 1979.[4][10][11] Sau một thời gian ngắn ở New Mexico và Monterey, California, gia đình chuyển đến San Jose, California, vào năm 1980.[1]

Ban đầu Lê Văn Chiêu làm bếp trong xe tải thực phẩm trước khi mua một xe tải riêng vào năm 1981. Từ xe này, ông và vợ là Quách Ngọc Yến bán hamburger, burrito, mì xào, và bánh mì kẹp cho công nhân vào giờ giải lao. Năm sau, em của Chiêu là Henry Lê Văn Hướng mua thêm một xe tải, và hai anh em sáng lập một doanh nghiệp phân phối thức ăn di động.[9][12] Tên của công ty là Lee Bros. Foodservice, Inc., tức Anh hóa tên họ thành "Lee" để cho người Mỹ dễ đọc hơn. Tính đến năm 1985, công ty phục vụ hơn 500 xe tải, trong số đó có nhiều xe tải có người chủ gốc Việt.[5][8]

Năm 1983, cha mẹ Lê Văn Bá và Nguyễn Thị Hạnh bắt đầu mượn xe tải của hai anh em vào mỗi cuối tuần để bán bánh mì kẹp kiểu Việt Nam tại góc đường số 6 và đường Santa Clara, gần khu trường Đại học Tiểu bang San Jose.[4] Vì xe tải bán chạy nên một số nhà hàng lân cận yêu cầu chính phủ thành phố phạt cho hai vợ chồng.[9][12] Tháng 6 năm 1983, họ mở cửa tiệm bánh mì truyền thống có tên Lee's Sandwiches ở cùng góc đường.[8][10][13] Năm 1988, tiệm này di chuyển đến tòa nhà lớn hơn gần góc đường King và Tully, ở phố đông người gốc Việt tại Đông San Jose.[12][14]

Ngày 8 tháng 8 năm 2001, Chiêu và con trai Lê Chiêu Minh mở tiệm bánh mì cà phê kiểu Mỹ tại khu Tiểu Sài Gòn ở thành phố Westminster, California. Tiệm này bán nhiều món hơn, bao gồm các loại bánh mì fusion phương tây, nhằm mục đích thu hút khách cả người gốc Việt và những người khác.[1][4][15] Trong gia đình có tranh luận về hướng phát triển mới,[16] nhưng tiệm rất thành công. Trong vòng một năm, chuỗi này mở thêm bảy tiệm và vào nhiều thành phố khác ở miền bắc và miền nam California.[5] Năm 2005, Lee's Sandwiches trở thành tiệm bánh mì cà phê đầu tiên cho phép nhượng quyền kinh doanh.[4][17]

Tính đến năm 2006, Lee's Sandwiches đã trở thành một trong những chuỗi thức ăn nhanh phát triển nhanh nhất trong miền tây Hoa Kỳ.[8][14] Tháng 3 năm 2006, tiệm lớn nhất mở cửa tại Houston, Texas, với diện tích 930 mét vuông (10.000 sq ft).[14] Ngày đầu tiên, khách xếp hàng dài để vào tiệm Lee's đầu tiên tại Houston.[18]

Ngày 8 tháng 8 năm 2008, Lee's Sandwiches liên doanh với một công ty Hàn Quốc để mở quán cà phê Lee's Coffee tại Quận 1, Thành phố Hồ Chí Minh.[8] Tháng 8 năm 2015, Lee's Sandwiches mở tiệm bánh mì trong Nhà ga Đài Bắc.[19] Tính đến tháng 4 năm 2017[cập nhật], công ty nghiên cứu tiếp thị Sundale Research liệt kê Lee's Sandwiches trong danh sách 12 chuỗi tiệm bánh mì cà phê lớn nhất tại Hoa Kỳ.[20] Ngày 8 tháng 8 năm 2017, gia đình mở quán cà phê Lee's Coffee Roastery bên cạnh một tiệm bánh mì Lee's Sandwiches tại Westminster, California.[21]